Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
超越结果奖励：搜索智能体的检索信用构造与分配
🧭 搜索Agent强化学习 · 检索信用分配 ★ 深度解读
University of Edinburgh · Huawei Technologies Research & Development (UK) Limited
系统研究检索中间信号在 GRPO 中与动作对齐的信用分配，局部 credit 显著优于 scalar reward shaping
📌 工作参考价值（4 点）
- 在 RLVR 训练搜索/工具调用 Agent 时，不要只给最终答案 F1。把检索证据覆盖等中间信号作为 token-level local credit，加到产生该次检索的 query tokens 上，比直接把检索 bonus 加到 trajectory reward 更有效；工程上可在 GRPO 中保留 outcome advantage，再在 executed query tokens 上叠加 group-relative signed residual。
- 信号设计要和 credit assignment 联合选择：同一 Cov 信号在 local 下最强，而带依赖约束的 Cov-Dep 更适合 scalar、不适合 local。业务里如果做子问题/依赖图，建议先验证「不要过度约束」的检索信号在 local 框架下是否更好。
- 保持 event-action 对齐很重要：把检索增量打乱到同 step 其他 rollout 会掉点，multi-hop 任务掉点更明显（Cov aligned-permuted 差 2.12，AM 差 3.12）。实现时一定要把 credit 附着到实际产生 evidence 的 tool call tokens。
- 中间监督主要提升证据获取，而非证据利用；如果业务目标是最终成交/答案质量，除了覆盖奖励还应设计证据使用或推理质量信号，否则可能出现检索更多但答案未见提升。